自动检测视网膜结构，例如视网膜血管（RV），凹起的血管区（FAZ）和视网膜血管连接（RVJ），对于了解眼睛的疾病和临床决策非常重要。在本文中，我们提出了一种新型的基于投票的自适应特征融合多任务网络（VAFF-NET），用于在光学相干性层析成像（OCTA）中对RV，FAZ和RVJ进行联合分割，检测和分类。提出了一个特定于任务的投票门模块，以适应并融合两个级别的特定任务的不同功能：来自单个编码器的不同空间位置的特征，以及来自多个编码器的功能。特别是，由于八八座图像中微脉管系统的复杂性使视网膜血管连接连接到分叉/跨越具有挑战性的任务的同时定位和分类，因此我们通过结合热图回归和网格分类来专门设计任务头。我们利用来自各种视网膜层的三个不同的\ textit {en face}血管造影，而不是遵循仅使用单个\ textit {en face}的现有方法。为了促进进一步的研究，已经发布了这些数据集的部分数据集，并已发布了公共访问：https：//github.com/imed-lab/vaff-net。

我们研究图形神经网络（GNN）的节点分类任务，并在群体公平性（通过统计平等和均等机会衡量）之间建立联系，以及局部分类性，即连接节点的趋势具有相似的属性。这种分类性通常是由同质性诱导的，即相似特性的节点连接的趋势。同质性在社交网络中可能很常见，在社交网络中，系统性因素迫使个人进入具有敏感属性的社区。通过合成图，我们研究了本地发生的同质和公平预测之间的相互作用，发现并非所有节点邻居在这方面都相等 - 社区以敏感属性的一类类别为主导，通常会努力获得公平的治疗，尤其是在分化本地类别和敏感属性同质。在确定存在局部同质和公平之间的关系之后，我们研究了不公平的问题是否与应用的GNN模型的设计相关联。我们表明，通过采用能够处理拆卸组标签的异性GNN设计，与真实和合成数据集中的同质设计相比，可以将本地异性邻居中的群体公平提高25％。

我们通过形式化节点标签的异质性（即连接的节点倾向于具有不同的标签）和GNN与对抗性攻击的稳健性来弥合图形神经网络（GNN）的两个研究方向。我们的理论和经验分析表明，对于同质图数据，有影响力的结构攻击始终导致同质性降低，而对于异性图数据，同质级别的变化取决于节点度。这些见解对防御对现实图形的攻击具有实际含义：我们推断出分离自我和邻居限制的汇总器，这是一种已确定的设计原则，可以显着改善异性图数据的预测，还可以为增强的鲁棒性提供稳健性gnns。我们的综合实验表明，与表现最好的未接种模型相比，GNN仅采用这种设计可以提高经验和可证明的鲁棒性。此外，与表现最佳的疫苗接种模型相比，这种设计与对抗性攻击的明确防御机制相结合，可提高稳健性，攻击性能在攻击下提高18.33％。

We investigate the representation power of graph neural networks in the semisupervised node classification task under heterophily or low homophily, i.e., in networks where connected nodes may have different class labels and dissimilar features. Many popular GNNs fail to generalize to this setting, and are even outperformed by models that ignore the graph structure (e.g., multilayer perceptrons). Motivated by this limitation, we identify a set of key designs-ego-and neighbor-embedding separation, higher-order neighborhoods, and combination of intermediate representations-that boost learning from the graph structure under heterophily. We combine them into a graph neural network, H 2 GCN, which we use as the base method to empirically evaluate the effectiveness of the identified designs. Going beyond the traditional benchmarks with strong homophily, our empirical analysis shows that the identified designs increase the accuracy of GNNs by up to 40% and 27% over models without them on synthetic and real networks with heterophily, respectively, and yield competitive performance under homophily.

Multi-modal named entity recognition (NER) and relation extraction (RE) aim to leverage relevant image information to improve the performance of NER and RE. Most existing efforts largely focused on directly extracting potentially useful information from images (such as pixel-level features, identified objects, and associated captions). However, such extraction processes may not be knowledge aware, resulting in information that may not be highly relevant. In this paper, we propose a novel Multi-modal Retrieval based framework (MoRe). MoRe contains a text retrieval module and an image-based retrieval module, which retrieve related knowledge of the input text and image in the knowledge corpus respectively. Next, the retrieval results are sent to the textual and visual models respectively for predictions. Finally, a Mixture of Experts (MoE) module combines the predictions from the two models to make the final decision. Our experiments show that both our textual model and visual model can achieve state-of-the-art performance on four multi-modal NER datasets and one multi-modal RE dataset. With MoE, the model performance can be further improved and our analysis demonstrates the benefits of integrating both textual and visual cues for such tasks.

多模式视频问题答案旨在预测正确的答案并定位与问题相关的时间边界。问题的时间注释提高了质量检查的质量质量和解释性，但它们通常是经验和昂贵的。为了避免时间注释，我们设计了一个弱监督的问题接地（WSQG）设置，在该设置中，仅使用QA注释，并且根据时间注意力评分生成相关的时间边界。为了替代时间注释，我们将帧和字幕之间的对应关系转换为框架求和词（FS）自学，这有助于优化时间注意力分数，从而改善VideoQA模型中的视频语言理解。关于TVQA和TVQA+数据集的广泛实验表明，提出的WSQG策略在问题接地上获得了可比的性能，而FS自我实验有助于改善仅在QA-Supervision和全面的Supervision设置上的问题答案和接地性能。

具有高分辨率的视网膜光学相干断层扫描术（八八）对于视网膜脉管系统的定量和分析很重要。然而，八颗图像的分辨率与相同采样频率的视野成反比，这不利于临床医生分析较大的血管区域。在本文中，我们提出了一个新型的基于稀疏的域适应超分辨率网络（SASR），以重建现实的6x6 mm2/低分辨率/低分辨率（LR）八八粒图像，以重建高分辨率（HR）表示。更具体地说，我们首先对3x3 mm2/高分辨率（HR）图像进行简单降解，以获得合成的LR图像。然后，采用一种有效的注册方法在6x6 mm2图像中以其相应的3x3 mm2图像区域注册合成LR，以获得裁切的逼真的LR图像。然后，我们提出了一个多级超分辨率模型，用于对合成数据进行全面监督的重建，从而通过生成的对流策略指导现实的LR图像重建现实的LR图像，该策略允许合成和现实的LR图像可以在特征中统一。领域。最后，新型的稀疏边缘感知损失旨在动态优化容器边缘结构。在两个八八集中进行的广泛实验表明，我们的方法的性能优于最先进的超分辨率重建方法。此外，我们还研究了重建结果对视网膜结构分割的性能，这进一步验证了我们方法的有效性。

弱监督的对象定位（WSOL）旨在仅通过使用图像级标签来定位对象，由于其在实际应用中的注释成本较低，因此引起了很多关注。最近的研究利用自我发挥作用在视觉变压器中对远程依赖性的优势来重新活跃的语义区域，旨在避免在传统的类激活映射（CAM）中进行部分激活。但是，变压器中的远程建模忽略了对象的固有空间连贯性，并且通常会扩散远离对象边界的语义感知区域，从而使定位结果明显更大或更小。为了解决此类问题，我们引入了一个简单而有效的空间校准模块（SCM），以进行准确的WSOL，将斑块令牌的语义相似性及其空间关系融合到统一的扩散模型中。具体而言，我们引入了一个可学习的参数，以动态调整语义相关性和空间上下文强度，以进行有效的信息传播。实际上，SCM被设计为变压器的外部模块，可以在推断过程中删除以降低计算成本。对象敏感的定位能力通过在训练阶段的优化中隐式嵌入到变压器编码中。它使生成的注意力图能够捕获锐利对象边界并过滤对象 - 近距离背景区域。广泛的实验结果证明了该方法的有效性，该方法在CUB-200和Imagenet-1K基准测试基准上的表现明显优于其对应物TS-CAM。该代码可从https://github.com/164140757/scm获得。

Multiconer共享的任务旨在检测在多种语言的简短和低文本设置中，在语义上模棱两可且复杂的命名实体。缺乏上下文使人们对歧义的命名实体的认识充满挑战。为了减轻此问题，我们的团队Damo-NLP提出了一个基于知识的系统，我们在其中建立了基于Wikipedia的多语言知识基础，以向指定的实体识别（NER）模型提供相关的上下文信息。给定输入句子，我们的系统有效地从知识库中检索了相关上下文。然后，将原始输入句子加强此类上下文信息，从而可以捕获明显更好的上下文化令牌表示。我们的系统在Multiconer共享任务中赢得了13个曲目中的10个。

Object detection in point clouds is an important aspect of many robotics applications such as autonomous driving. In this paper we consider the problem of encoding a point cloud into a format appropriate for a downstream detection pipeline. Recent literature suggests two types of encoders; fixed encoders tend to be fast but sacrifice accuracy, while encoders that are learned from data are more accurate, but slower. In this work we propose PointPillars, a novel encoder which utilizes PointNets to learn a representation of point clouds organized in vertical columns (pillars). While the encoded features can be used with any standard 2D convolutional detection architecture, we further propose a lean downstream network. Extensive experimentation shows that PointPillars outperforms previous encoders with respect to both speed and accuracy by a large margin. Despite only using lidar, our full detection pipeline significantly outperforms the state of the art, even among fusion methods, with respect to both the 3D and bird's eye view KITTI benchmarks. This detection performance is achieved while running at 62 Hz: a 2 -4 fold runtime improvement. A faster version of our method matches the state of the art at 105 Hz. These benchmarks suggest that PointPillars is an appropriate encoding for object detection in point clouds.